Il cambiamento fondamentale nel paradigma bayesiano risiede nello stato ontologico del parametro sconosciuto $\theta$. A differenza della statistica frequentista, che considera $\theta$ un valore fisso ma sconosciuto, l'approccio bayesiano lo tratta come una variabile casuale. Ciò ci permette di quantificare l'incertezza tramite una misura di probabilità a priori $\Pi$.
Costruzione del Modello Bayesiano
Un modello bayesiano completo è definito dalla coppia $(\{f_{\theta} : \theta \in \Omega\}, \Pi)$. L'inferenza bayesiana non è semplicemente "usare il teorema di Bayes", ma l'atto deliberato di aggiungere una distribuzione di probabilità a priori al modello campionario come ingrediente essenziale per l'inferenza.
Lo stato totale delle nostre conoscenze è descritto dalla distribuzione congiunta $\pi(\theta) f_{\theta}(s)$. Questa funzione collega i dati osservati $s$ e il parametro non osservato $\theta$ in un unico quadro probabilistico coerente.
Affermazioni Dirette di Probabilità
In questo paradigma, $\theta$ è governato da una densità di probabilità $\pi(\theta)$. Ciò ci consente di formulare affermazioni dirette di probabilità sul parametro, come $P(\theta \in A)$. Ciò è logicamente impossibile in un quadro frequentista, dove $\theta$ non ha una distribuzione e quindi tali affermazioni sono indeterminate.
Analogia Reale: Diagnostica Medica
Nella diagnosi di una malattia rara, il "costante" è se un paziente ha la malattia. Nel paradigma bayesiano, trattiamo lo stato della malattia $(\theta)$ come una variabile casuale. Se la prevalenza è dello 0,1% (la prior), e un test (il modello $f_{\theta}$) dà risultato positivo, non ci limitiamo a guardare l'accuratezza del test; consideriamo la probabilità congiunta di avere la malattia E dare un test positivo per determinare la nuova probabilità di malattia.